עיבוד וניתוח תמונות סיכום הקורס עדכון אחרון: 7/2/2009

Transcript

1 עיבוד וניתוח תמונות 46 סיכום הקורס עדכון אחרון: 7//9

2 תוכן עניינים אותות ומערכות בדו-מימד 4 הקדמה 4 לינאריות 4 זכרון 4 קביעות במקום 4 תגובה להלם 4 אינטגרל הסופרפוזיציה 5 מערכות לינאריות וקבועות בזמן (LSI) 5 5 פרידות (Separability) התמרות פורייה דו-מימדיות 6 אותות ומערכות לינאריות דיסקרטיות בדו-מימד 7 סכום הסופרפוזיציה 7 התמרות פורייה לאותות דיסקרטיים 7 דגימה ושחזור 8 כימוי (Quantization) 3 היסטוגרמה 3 קוונטייזר אחיד 3 שגיאת תהליך הכימוי 3 6 קוונטייזר מקס-לויד (Ma-Loyd) קוונטייזר אחיר 7 כימוי של תמונות צבעוניות 7 תופעת Contouring עיבוד וניתוח תמונות, סיכום הקורס. נכתב ע"י אבי בנדל. פעולת Dithering Error Diusion פעולות נקודה הקדמה מתיחת ניגודיות (Contrast) פעולת סף (hresholding) 3 תיקון גאמא 3 עיצוב היסטוגרמה 4 4 קיזוז היסטוגרמה Equialization) (Histogram טבלאת איתור able) (Loo-up 6 פעולות מרחביות 7 מבוא 7 סינון לינארי 7 מיצוע מקומי 7 8 מסנן חציון (Median) גזירת תמונה 8 חידוד תמונה 3 גילוי שפות 3 מסנן Wallis

3 3 שחזור תמונות 3 בעית השחזור 3 שערוך סטטיסטי 3 3 משערך סבירות מירבית Lielihood) (Maimum משערך (Maimum a-posteriori Probability) MAP 33 דחיסת תמונות 36 תורת האינפורמציה 36 משפט ההצפנה של Shannon 37 דחיסה לא משמרת 39 קידוד תמונות 39 ניצול מגבלות מערכת הראייה האנושית 4 התמרות 4 התמרה ספרבילית 4 התמרות יוניטריות 4 התמרה יוניטרית ספרבילית 43 התמרת DC Discrete Cosine ransorm 44 התמרת Hadamard התמרת Haar נספח מתמטי 48 התמרות פורייה דו-מימדיות 48 זהויות טריגונומטריות 49 פונקצית דלתא 49 חשבון מטריצות 49 הסתברות 49 סידור לקסיקורפי (Leicographic) של מטריצות 5 מטריצות מיוחדות 5 מכפלת קרוניקר 54 חדו"א של וקטורים ומטריצות עיבוד וניתוח תמונות, סיכום הקורס. נכתב ע"י אבי בנדל.

4 4 הקדמה. אותות ומערכות בדו-מימד אנחנו נדבר על תמונות, שהו פונקציות דו-מימדיות. תמונות אלו יהוו קלט למערכות מתאימות, המבצעות פעולה על. g, y ופולטות (תמונה) פונרקציה דו מימדית אחרת,,, פונקציה דו מימדית y.. (, ) y H g(, y) :α,, y, g, y.. לינאריות מערכת דו-מימדית H תיקרא לינארית כאשר מתקיימות שתי התכונות הבאות לכל H{ α (, y) } = α H{ (, y) } { (, ) + (, )} = { (, )} + { (, )} H y g y H y H g y. כפל בסקלר:. אדיטיביות: דוגמא לפונקציה לינארית: הזזה. דוגמא לפונקציה לא לינארית: פעולת סף (hreshold)..(, y) g.3. זכרון במערכת חסרות זיכרון (מערכות פעולת נקודה), הערך של דוגמה למערכות שאינן חסרות זיכרון: מיצוע, גרדיאנט. תלוי רק בערך של באותה נקודה.4. קביעות במקום מערכות קבועות במקום (Space-Invariant) זוהי מערכת שהיא קומוטטיבית עם הזזה, כלומר: H α, y β = g α, y β { }., y לכל,, y, α, לכל β דוגמא למערכת קבועה במקום: פעולת הנגזרת. דוגמא למערכת שאינה קבועה במקום: מערכת שמאפסת את כל הפיקסלים מחוץ לחלון קבוע. כמובן שהזזה של תמונה שעברה במערכת כזו לא תראה כמו התמונה המקורית שעברה באותה המערכת (ניתן לחשוב על החלון כהתבוננות מתוך מכונית נוסעת, כאשר הנוף הוא התמונה בנסיעה, מבחינתנו הנוף נע, ואנחנו רואים רק מה שעובד דרך החלון. במשך הנסיעה התמונה משתנה). (, y).5. תגובה להלם ראשית, נגדיר פונקצית דלתא דו מימדית של דירק. זוהי פונקציה, אשר לכל רציפות, מקיימת: (, ) δ( α, β) = ( α, β) y y ddy (, y ) נביט על פונקצית ההלם כתמונה, ולכן פונקצית הדלתא הדו-מימדית δ α β היא בעצם פיקסל אחד לבן,α ), וזאת על-גבי תמונה שחורה. בנקודה (β תגובה להלם של מערכת לינארית בדו-מימד: (, y ) δ α β H h(, y; α, β) 46 עיבוד וניתוח תמונות, סיכום הקורס. נכתב ע"י אבי בנדל.

5 5 הפונקציה,α )h, ;y תלויה בארבעה משתנים, שהם הנקודה במרחב והנקודה בה פעלה פונקצית הדלתא. ניתן β),α ). הם ההלם יינתן בנקודה β). h(, y), )h כאשר ההלם ניתן בנקודה y) להסתכל על התגובה להלם h אחרת, נאמר כתמונה להלם,, המערכת לא בהכרח תוציא לנו כפלט את אותה התמונה ( α, β ) (, y) g(, y) אינטגרל הסופרפוזיציה H..6 אם המערכת היא לינארית, אזי תגובת המערכת לקלט הוא { (, )} (, ) ( α, β) (, ;, ) H y g y h y α β dαdβ = = זהו אינטגרל הסופרפוזיציה..7. מערכות לינאריות וקבועות בזמן (LSI) במקרה שמערכת לינארית היא גם קבועה בזמן, אזי מתקיים: h(, y; α, β) = h( α, y β) כלומר התגובה להלם תהיה תמונה שערכיה תלויים במרחקם מהמקום בו ניתן ההלם. מערכות כאלו נקראות Linear Space Invariant (באנלוגיה לאותות שמע חד מימדיים, (LI { (, )} = (, ) = (, ) (, ) H y g y α β h α y β dαdβ במקרה זה, אינטרל הסופרפוזיציה ייראה כך: וזהו אינטגרל הקונבולוציה. דוגמא למערכת לינארית, שאינה קבועה במקום: פעולת התמקדות.(Zoom) בפעולה זו, נקודות שונות עוברות טיפול שונה, בהתאם למיקומם בתמונה המקורית. לדוגמא פיקסל במרכז לא עובר שינוי, אבל פיקסל בקצה התמונה יכול להעלם, או להשתנות בצורה ניכרת. כאשר נכניס הלם תמנוה שנמצא קצת ימינה מהאמצע, הוא יוזז ימינה, כאשר נכניס הלם תמנוה שנמצא קצת שמאלה מהאמצע, הוא יוזז שמאלה כל נקודה עוברת טיפול שונה. פרידות (Separability) פונקציה ספרבילית היא פונקציה דו-מימדית המקיימת: (, y) = ( ) ( y) לדוגמה, פונקצית חלון דו-מימדית היא פונקצית ספרבילית המורכבת ממכפלת שתי פונקציות חלון חד-מימדיות: wnd y = wnd wnd y = u u u y y u y y y ( ),, y, y wnd, wnd..8 כאשר כאן הוא קיצור לפונקצית חלון. הגדרה: מערכת H תקרא ספרבילית אם תגובת ההלם שלה,, h ספרבילית. במקרה זה, מתקיים: h(, y; α, β) = h( ; α) h( y; β) במקרה כזה, אינטגרל הסופרפוזיציה ייראה כך: { (, )} = (, ) (, ;, ) = (, ) ( ; ) ( ; ) H y α β h y α β dαdβ α β h α h y β dαdβ = h( y; β) ( α, β) h( ; α) dα dβ 46 עיבוד וניתוח תמונות, סיכום הקורס. נכתב ע"י אבי בנדל.

6 6 כלומר, ניתן לבצע את האינטגרל בשני חלקים, כל פעם על משתנה אינטגרציה אחד (ניתן קודם לפעול על שורות, ואז לפעול על עמודות, או להפך). π j( u+ vy) = { } = F התמרות פורייה דו-מימדיות התמרת פורייה רציפה לאותות רציפים F u, v, y, y e ddy F π j( u+ vy) = { } =, y F u, v F u, v e dudv הגדרת ההתמרה: וההתמרה ההפוכה: מהגדרת ההתמרה ההפוכה, ומזכרון נושן עבור התמרות חד-מימדיות, ניתן לומר שכל תמונה היא לא יותר מאשר j( u vy) + π, e כאשר לכל תמונה כזו יש משקל סופרפוזיציה של אינסוף תמונות בסיס מהצורה. F( u, v), h( היא y).9.. תגובת התדר תגובת התדר של מערכת לינארית וקבועה בזמן, H אשר תגובת ההלם שלה היא { } (, ) =F h(, y) H u v F F { (, y) } = F ( u, v) { (, y) } = F( u, v), (, y) תכונות ההתמרה יחידות; לינאריות; היפוך צירים: ספרביליות ההתמרה: לכל אות ניתן לבצע אינטגרל על מימד אחד, ואז על המימד השני: π j( u+ vy) π ju π jvy F( u, v) = (, y) e ddy= (, y) e d e dy מתיחה וכיווץ (Scaling) u v F{ ( a, by) } = F, ab a b אינטואיטיבית, כאשר מכווצים תמונה, אנו מקטינים את אורך הגל, ולכן התדר של התמונה גדל כלומר בתחום התדר נראה אנרגיות בתדרים גבוהים יותר. רעיון זה דומה לעיקרון אי הוודאות ככל שמכווצים את המידע במקום, הוא מתפרס על תחום גדול יותר בתדר. הזזה במקום והזזה בתדר (אפנון): F F F F π j( u+ vy) { ( ) } = π j u+ yv ( ) = { }, y y e F u, v F u u, v v e, y { (, y) (, y) } = F ( u, v) F( u, v) (, y) (, y) = F u, v F u, v { } משפט הקונבולוציה כאשר כאן פעולה הקונבולוציה היא פעולה דו-מימדית. משפט פרסבל (, ) = (, ) y ddy F u v dudv עיבוד וניתוח תמונות, סיכום הקורס. נכתב ע"י אבי בנדל.

7 7 F התמרה לאות ספרבילי כאשר מבצעים התמרה לאות ספרבילי, ניתן לבצע התמרה לכל מימד בנפרד. כלומר, כאשר, y = y D π j( u+ vy) π ju π jvy { (, )} = (, ) = y y e ddy y e e ddy π ju π jvy D D F { } F { } = e d y e dy= y אזי אותות ומערכות לינאריות דיסקרטיות בדו-מימד m,, [ כאשר..,m m. הוא אינדקס השורות; n הוא אינדקס n Z תמונה דו מימדית דיסקרטית תסומן העמודות. את האותות הדיסקרטים בחד-מימד ראינו כוקטורים אינסופיים (סדרות של מספרים). אותות דו-מימדיים (תמונות) ניתנים להתסכלות כמטריצות בגודל אינסופי של מספרים., m= n= δ[ m, = δ[ m] δ[ =, else...דלתא של קרוניקר בדו-מימד הגדרה: התגובה להלם של מערכת לינארית דיסקרטית: [ m, n r] δ H h[ m, n;, r].. סכום הסופרפוזיציה כאשר מדברים על מערכת דיסקרטית H לינארית, באופן מקביל לאינטגרל הסופרפוזיציה, המוצא הוא סופרפוזיציה של התגובה להלם עם הכניסה: ( [, ] = { [, ]} = [, ] [, ;, ] g m n H m n r h m n r [, ] כמו במקרה הרציף (אינטגרל), ניתן להתסכל על המוצא g m n משוקלל (ההכפלה באברי מטריצה ). h לכל נקודה (פיקסל) בפלט כעל סכום (הסכימה של אברי המטריצה,m ]g יש מטריצת משקלים מתאימה. כאשר H היא גם מערכת קבועה במקום, מתקיים h[ m, n;, r] = h[ m, n r] ואז, כמו במקרה הרציף, סכום הסופרפוזיציה מתנוון לסכום הקונבולוציה: [, ] = { [, ]} = [, ] [, ] g m n H m n r h m n r מערכת (פעולה) לינארית ספרבילית היא מערכת מהצורה h m, n;, r = h m; h n; r,m [ (ההתמרה היא רציפה!): F D [ ] [ ] [ ] התמרות פורייה לאותות דיסקרטיים j( θm+ θn) ( θ, θ) = [ m, e n= m=.. הגדרה: התמרת פורייה של תמונה דו-מימדית דיסקרטית θ, ולכן מספיק להתסכל על התחום הדו-מימדי θ וב כאשר ההתמרה היא מחזורית- π ב 46 עיבוד וניתוח תמונות, סיכום הקורס. נכתב ע"י אבי בנדל.

8 [, ] [, ] θ π π θ π π 8.( [ m, להתמרת פורייה זו יש כמובן אינסוף ערכים (רציפים), בהתאמה לאינסוף הערכים שבמקום (אינסוף איברי [n כעת נסתכל כל תמונה המוגברת בגודלה: תמונה סופית עם M שורות ו עמודות. במקרה זה כניראה לא צריך M דרגות חופש לתמונה, הניתנים כקלט אינסוף איברים במישור התדר כדי לתאר את התמונה, כי יש רק להתמרת הפורייה. אנחנו נדגום את התמרת הפורייה בתדרים הבאים: π θ =, =,,,..., M M π θ = r, r=,,,..., M, ועל התמרת הפורייה שלה, שגם תהיה כלומר, אנחנו יכולים להתסכל על תמונה (מטריצה) בגודל סופי מטריצה סופית, באותו גודל. למי שעדיין לא שם לב, זוהי התמרת DF בדו-מימד. הנה ההגדרה: m nr j M D DF m n F r m n e π + { [ ]} = [ ] = [ ],,, n= m= m nr π וההתמרה ההפוכה: { [, ]} [, ] [, ] j + M D IDF F r = m n = F r e M = r= בדומה למקרה של התמרת פורייה רציפה, אנו רואים כי מהגדרת ההתמרה ההפוכה, ניתן לומר שכל תמונה היא לא j( u vy) + π, e כאשר לכל תמונה כזו יש משקל m nr j M e π + יותר מאשר סופרפוזיציה של אינסוף תמונות בסיס מהצורה. F, r [ ] נשים לב כי פעולת ההתמרה היא ספרבילית: m nr j j M F[, r] [ m, e π = e π n= m= ולכן, ניתן לבצע התמרת DF (חד-מימדית) על השורות (עמודות), ואז לעשות התמרת DF על העמדות (שורות). כמובן שאת התמרות ה DF החד-מימדיות ניתן לבצע בעזרת אלגוריתם FF היעיל..3. דגימה ושחזור, y, y R, (, אנחנו רוצים לקחת אות רציף (y הרציף לדגום כדי לקבל אות בדיד (ל יחידות של מקום, כלומר מטר, מילי-מטר וכו'), ואת האות,m הם אינדקים, נטולי יחידות, של שורה ועמודה. n, [ m, ( y D Dy) = δ( md y ndy) comb, ;,, y n= m= D נגדיר מסרק הלמים רציף דו-מימדי: D y (, זהו סריג אינסופי של פונקציות דלתא. נכפיל את האות (y בפונקצית המסרק, וזהו תהליך הדגימה שלנו: 46 עיבוד וניתוח תמונות, סיכום הקורס. נכתב ע"י אבי בנדל.

9 9 - משקלים (, ) = (, ) comb (, ;, y) = (, ) δ(, y) y y y D D y md y nd [ m, n= m= n= m= (, ) δ(, y) = y md y nd [, ] δ(, y) = m n md y nd n= m=, שהיא סכום של פונקציות דלתא, המוכפלות במשקלים שונים, קיבלנו תמונה רציפה y אלו הם הפונקציה הבדידה. כלומר: m, n = md, nd [ ] ( y) F התמרת הפורייה (הרציפה) של מסרק ההלמים (הרציף): comb (, y; D, Dy) = comb u, v;, DD y D D y :, התמרת פורייה של האות הדגום y { } { } { } ( y) F u, v = F, y = F, y comb, y; D, D = F( u, v) comb u, v;, DD y D D y,, גם בתדרים מאוד גבוהים (תופעה לא מפתיעה, מכיוון כלומר אינסוף שכפולים של התמרת האות המקורי y, במסרק הלמים, מה שגורר שינויים מאוד חדים (דלתות), וכשיש שינויים מהירים כאלו במישור שכפלנו את y המקום, יש תדרים מאוד גבוהים במישור התדר). [ m, שחזור הדגימה הוא לא יותר מאשר הצגת המטריצה ) [n - המספרים אותם שמרנו במחשב) על מסך..3..תופעת ההתחזות תופעת ההתחזות (Aliasing) יכולה להתקיים גם כאן, כמו שראינו בדגימה חד-מימדית. כדי למנוע תופעה זו, נרצה שלתמונה יהיה תמך סופי במישור התדר, כלומר נרצה להעבירה דרך מסנן מעביר נמוכים (LPF) בעולם הרציף (כך שהתמונה לא תהיה חדה לגמרי). בצורה מעשית, האופטיקה של המצלמה המצלמת את התמונה מהווה,LPF ולכן התמונה המתקבלת היא בעלת תמך סופי בתדר. עלינו לדאוג שהמרחק בין השכפולים, ו, הנוצרים במישור התדר יהיה מספיק גדול, כך שלא תהיה חפיפה בין y h(, y) = sinc, D D y כמובן ששיחזור זה אינו מעשי, כי השחזור ע"י תצוגה על גבי מסך הוא תצוגה של מלבן אחד לכל פיקסל לא פונקצית, )h הוא מלבן, מה שמקביל לשחזור ZOH-Zero Order Hold המוכר. (y אינסופית. כלומר, בפועל sinc 46 עיבוד וניתוח תמונות, סיכום הקורס. נכתב ע"י אבי בנדל. D y D v השכפולים u ו (רפליקות). אם הם הערכים המקסימליים של התמונה בתדר, יש לעמוד בתנאי נייקויסט: > u D > v Dy שחזור אידיאלי של האות המקורי: ˆ (, y) = F { H( u, v) F( u, v) } ובמישור המקום, הפעולה המתאימה היא קונבולוציה: ˆ, y =, y h, y H( u, אם (v היא פונקצית חלון דו-מימדית, אזי תגובת ההלם התמאימה היא

10 נשים לב שפעולות השחזור והדגימה המדוברות כאן לא רלוונטי רק לתמונות רציפות הנדגמות, אלא גם לדגימה של, נוכל להקטין תמונה בדידי קיימת לתמונה בעלת מימדים יותר קטנים. לדוגמא, אם יש לנו תמונה בגודל. גם במקרה זה עלולים להתקל בתופעת אותה ע"י דגימה של כל פיקסל עשירי, ולקבל תמונה חדשה בגודל ההתחזות,(Aliasing) ולכן יש לטששט את התמונה לפני התהליך כלומר להעבירה במסנן.LPF. ישנן שיטות שונותלבצע זאת, לתמונה בגודל באופן אנלוגי ניתן לשחזר תמונה בגודל לדוגמה אינטרפולציה בי-לינארית Interpolation) (Bilinear או אינטרפולצית השכן הקרוב ) eighbour earest.(interpolation y.3..דגימה מוכללת עד עכשיו דגמנו בעזרת סריג מלבני, כלומר פונקצית המסרק שלנו היתה שכפולים לאורך ציר במרווחים שווים. ניתן לדגום אות בסריג כללי יותר. y ולאורך ציר v v סריג זה עדיין מחזורי, אך לא באופן ספרבילי ב וב, y כמו במקרה הפרטי של סריג מלבני. בסריג זה, נקודות הדגימה הן קומבינציה לינארית של שני הוקטורים המגדירים את הסריג: v, v, v =, v v =, y v, y קואורדיטה של נקודת דגימה מחושבת כך: s m v, v, m [ v v] V n s = v n = =, y v, y n במקרה הפרטי של סריג מלבני, ניקח D v =, v = D y ונקבל שנקודות הדגימה הן, כצפוי: s m D m md [ v v] s = D n = = y n nd y יש לשים לב שצריך לקחת את v, v בלתי תלויים לינארית (בת"ל), כי אחרת אנחנו נדגום על קו ישר, מכיוון ש v, v בת"ל, הרי ש detv. מסרק ההלמים הכללי המתאים לדגימה כללית נרשם בצורה הבאה comb ; V = δ Vn 46 עיבוד וניתוח תמונות, סיכום הקורס. נכתב ע"י אבי בנדל. ולא על המישור. : n ( n, m) = קואורדינטה במישור,, כאשר y וקטורי הדגימה, כפי שראינו קודם. התמרת פורייה של פונקצית מסרק ההלמים היא =n Z וקטור של מספרים שלמים, ו V המטריצה המייצגת את. A F { comb ( ; )} comb ( ; V = u V ) detv ) A ), כלומר פעולת ranspose על המטריצה ההופכית של. u= ( u, v) כאשר הסימון A בנוסף, הסימון מציין את u הוא וקטור הקואורדינאטות במישור התדר, כלומר

11 ( ) נמשיך ונשתמש במסרק הכללי. הפונקציה ובמישור התדר: ( ) הדוגמת בעזרת המסרק הכללי את הפונקציה היא: F = comb ( ; ) V { } F u, v = = F u, v comb u; V detv לעיתים נרצה לדגום תמונות אשר אין להם כיווניות מסויימת (איזוטרופיות), לדוגמא צילום של דשא, או חול. כלומר, אנו מסתכלים במישור התדר על התחום הבא: u F( u, v) v נרצה לדגום כמה שפחות, ועדיין לא לקבל.Aliasing בדגימה המלבנית הרגילה, נקבל שכפולים של התמך המעגלי, משיקים זה לזה באופן הבא: u F ( u, v) v ומסתבר שניתן לצופף את השכפולים בתדר יותר ביעילות, וזאת ע"י סריג לא מלבני, אלא בעזרת סריג משושה: u F u, v v כאשר התמונה בתדר יותר צפופה, המשמעות במישור המקום היא פחות דגימות. הוקטור המסומן מייצג את סכום הוקטורים בהם השתמשנו לצורך הדגימה. שטח תא היחידה של סריג הדגימות מוגדר להיות 46 עיבוד וניתוח תמונות, סיכום הקורס. נכתב ע"י אבי בנדל.

12 : S support Slattice = detv = detv D= = detv S lattice ולכן צפיפות הדגימות הינה ניתן גם להתסכל על נצילות הסריג, כאשר נתון לנו השטח הסופי של תמך ההתמרה, Ssupport S η= = S detv lattice support 46 עיבוד וניתוח תמונות, סיכום הקורס. נכתב ע"י אבי בנדל.

13 3. כימוי (Quantization) ערך של פיקסל בתמונה מייצג כמות אור מסויימת שנפלה על הגלאי של המצלמה. ערכים אלו הם רציפים מבחינתנו (בעיקרון ערכים אלו אינם רציפים, מכיוון שלכל פוטון יש כמות מסויימת של אנרגיה, ולכן האנרגיה הפוגעת בגלאי כלשהו חייבת להיות כפולה של כמות האנרגיה של הפוטון כלומר מספר שאינו רציף), אבל לא ניתן לאכסן בזיכרון מעשה ידי אדם אינפורמציה רציפה. לכן, יש לבצע עיגול של מספרים ממשיים למספרים בדידים. זוהי פעולת הקוונטיזציה עיגול למספרים בדידים. למשל, נהוג לייצג פיקסלים בתמונת שחור/לבן (כאשר כל פיקסל מיוצג ע"י 8 ביטים) בעזרת הערכים הבדידים 55...,,,,3, כאשר כל מספר מייצג רמת בהירות, כאשר מייצג בהירות מינימלית (שחור) ו 55 מייצג בהירות מקסימאלית (לבן). נביט בפיקסל המקבל באופן התחלתי ערך רציף u כלשהו: u n } i.{ r לגבולות אלו נקרא i= כעת, נחלק את תחום הערכים האפשריים לפיקסל לתחומים ע"י הצבת גבולות בערכים "רמות החלטה": כל ערך של פיקסל חדש יכול ליפול רק בתחום אחד בין שתי רמות החלטה. כעת נוסיף "רמות ייצוג" אילו הם מספרים החלטה: r r r n { i } i= אשר ייצגו פיקסלים הנופלים בכל תחום המוגדר ע"י שתי רמות n rn u u r r r... rn ערכי הפיקסלים u הם הקלט של תהליך הכימוי, ואילו רמות הייצוג הם הפלט של תהליך הכימוי. לכל ערך רציף של n { } n { } i יהיו. i לדוגמה, אם נרצה לעגל למספרים שלמים, פיקסל יותאם ערך בדיד אחד מתוך רמות הייצוג i= i= סדרת המספרים השלמים. רמות ההחלטה הם הספים שכנגדם נמדד ערך הכניסה (ערך הפיקסל הרציף) כדי להתאימו לתחום החלטה מסויים. לדוגמה, אם נרצה לעגל למספרים שלמים,רמות ההחלטה יהיו המספרים החצי שלמים n { } ri : ri = i+, i Z i= וכך, כל המספרים הנופלים, לדוגמא, בין 6.5 לבין 7.5, ייקבלו את הערך היסטוגרמה נביט בתמונת גווני אפור (שחור/לבן), בה כל פיקסל u מיוצג ע"י מספר בין ל 55 (ישנם 56 גווני אפור). נבצע סריקה על כל התמונה, ונשמור וקטור, v בעל 56 רכיבים, באופן הבא: רכיב i של הוקטור יכיל את מספר המופעים של של הגוון i. השרטוט של רכיבי v תתן את פילוג הגוונים בתמונה. פילוג זה נקרא היסטורגרמה. קוונטייזר אחיד זהו קוונטייזר אשר המרווחים בין רמות ההחלטה ובין רמות הייצוג קבועים ושווים: r r = = q כאן q נקרא "צעד הקוונטיזציה" (או "מרווח הקוונטיזציה"). לדוגמה, כאשר עיגלנו למספרים שלמים, מרווח הקוונטיזציה הוא. אם לדוגמה מעגלים סכומי כסף לאלפי שקלים, המרווח יהיה. שגיאת תהליך הכימוי כמובן שתהליך הכימוי גורם לאובדן של אינפורמציה, ולכן ישנה בד"כ שגיאה. 46 עיבוד וניתוח תמונות, סיכום הקורס. נכתב ע"י אבי בנדל.

14 4 לדוגמה, נביט בקוונטייזר אחיד. גודל השגיאה בקוונטייזר אחיד יהיה לכל היותר q. בהנחה שרמות האפור בכניסה לקוונטייזר יכולות לקבל כל ערך בהסתברות אחידה, נקבל צפיפות הסתברות אחידה גם לערך השגיאה של הקוונטייזר האחיד: P( ε) q q ε [ ] ) ואז, השגיאה הממוצעת ( E ε היא אפס, כלומר בממוצע ערכי הפיקסלים לא משתנים, כלומר התמונה במוצא הקוונטייזר לא תהיה יותר בהירה או יותר כהה מאשר התמונה המקורית בכניסת הקוונטייזר. כעת נביט על השונות של שגיאת הקוונטייזר האחיד: 3 3 q q q q 3 ε q E ε = ε dε = = = q q q q q 8 למדד זה קוראים גם "השגיאה הריבועית הממוצעת" Error).(MSE Mean Square בד"כ נניח כי זהו מדד סביר לאיכות של תמונה, אבל האם זהו באמת מדד טוב? דוגמא: שחורה לגמרי, כאשר בשורה 8 יש קו דק (בגובה פיקסל אחד) בצבע לבן. נביט בתמונה בגודל כעת נניח שהתמונה עברה שני עיבודים. לאחר העיבוד הראשון, התמונה שנוצרה היתה זהה, מלבד הקו הדק, שכעת נמצא בשורה 9 במקום בשורה 8. לפי מדד השגיאה שפגשנו,,MSE התרומה לשגיאה תהיה בשורה 8, שם כל הפיקסלים הלבנים של הקו הפכו לשחורים, ובנוסף בשורה 9, שם הפיקסלים השחורים המקוריים הם עתה בצבע לבן. לאחר העיבוד השני, התמונה שהתקבלה שחורה לגמרי. לפי,MSE התרומה לשגיאה תהיה רק משורה 8, שם הקו הלבן נעלם וכעת הכל שחור. לסיכום מבחינת מדד ה,MSE התמונה השחורה יותר קרובה למציאות מאשר התמונה שבה הפס הלבן זז מטה. זאת למרות שלצופה האנושי מצב זה ממש לא הגיוני התמונה עם הפס הלבן בשורה 9 נראה מאוד דומה לתמונה עם הפס המקורי בשורה 8 (די קשה להבחין, מתוך השורות היכן הקו הלבן...), והתמונה השחורה לגמרי, היא התמונה עם השגיאה הגדולה שם כל האינפורמציה אבדה. בכל זאת, משתמשים במדד זה בגלל פשטות החישוב שלו. נגדיר מדד לשגיאה בצורה מדוייקת. סימון u u d u, u הסבר ערך פיקסל בכניסת הקוונטייזר ערך פיקסל ביציאה (אחת מרמות הייצוג) מדד השגיאה פונקציה של הכניסה והיציאה פילוג רמות האפור בתמונה ( u) PU (, ) = ( ) לדוגמא, נוכל לבחור. d u u u u (, ) E =D (כלומר תוחלת). לא היינו חייבים לבחור מדד כזה יכולנו גם לבחור נבחר מדד לשגיאה הגלובלית u d u את השגיאה המקסימלית מבין כל הפיקסלים שבתמונה, כלומר { }. D= ma d u, u כעת, מעניינים אותנו פיקסלים רק ברמות (בערכים) שקיימות בתמונה אלו רמות ההחלטה שלנו: r n (, ) (, ) D= E d u u = d u u PU u du r מכיוון שהערך שמתקבל עבור כניסה בין שתי רמות החלטה [ r r ], הוא, נוכל לכתוב: 46 עיבוד וניתוח תמונות, סיכום הקורס. נכתב ע"י אבי בנדל.

15 5 ε.( n r (, ) (, ) D= E d u u = d u PU u du = r n r (, ) r = ( ), d u u נקבל: D= E d u u = u PU u du =, (,,...,,,,..., ) D r r r n n במקרה הפרטי, שבו נשים לב שהפונקציה רציפה בכל משתניה, מכיוון שאם נזיז את אחד מהמשתנים ב r קטן, לא נקבל קפיצות חריגות של D לאינסוף. כדי להביא למינימום את השגיאה הגלובלית, נגזור ונשווה ל : D =, =,,3,..., n r D =, =,,3,..., n r נזכר בכלל הבא: u u ( α) d du du g( ) d g( u) g( u) dα = dα dα ( α). r, ונגזור לפי רמות ההחלטה ראשית נניח כי ידועות רמות הייצוג נשים לב שרמה תופיע בשני אינטגרלים:. r לפי התנאי r r r + (, ) + (, ) d u P u du d u P u du U + U r D = = d r, P r d r, P r r U + U (, ) = (, ) d r d r +,, ואנחנו צריכים להחליט איפה לשים את U r, P ונקבל ואז: נניח ש תנאי זה נקרא תנאי השכן הקרוב eighbour).(earest ניתן לראות שיש דרגות חופש בבחירת הפתרון לבעיה זו. עבור מדד,MSE נניח שידועים שתי רמות הייצוג +. r r בדיוק באמצע: = שלעיל, יש להגדיר את נראה זאת באופן כללי. התוצאה שקיבלנו אומרת שנרצה שהשגיאה מימין תהיה שווה לשגיאה משמאל, ועבור מדד ( ) r + + r ( יהיה שווה למרחק בין ( r ) ל (מהביטוי ל (מהביטוי r ( ) E, D= כלומר,MSE נקבל u u + = + r : r D = = d( u, ) PU ( u) du,mse נרצה שהמרחק בין כלומר, עבור בחירה של כעת נניח שידועות רמות ההחלטה, ונגזור לפי רמות הייצוג r כאשר לא לקחנו את כל האינטגרלים כי רמת הייצוג תופיע רק באחד מהם. נמשיך: r = ( d( u, ) ) PU ( u) du r ועבור מדד השגיאה הריבועית: 46 עיבוד וניתוח תמונות, סיכום הקורס. נכתב ע"י אבי בנדל.

16 (( ) ) U ( ) U U U r r r r = u P u du= u P u du= up u du P u du r r r r = r r r r up P U U u du u du, ניתן לחשב היכן להגדיר את רמת הייצוג r, r 6 כלומר כלומר, בהינתן רמות החלטה סמוכות לדוגמה, נניח כי בין שתי רמות החלטה סמוכות התפלגות הכניסה היא: שביניהן. PU ( u) r, r r r u r אזי רמת הייצוג תתקבל קרוב יותר ל בגלל השקלול שמבצעים האינטגרלים, שהו בעצם מרכז הכובד. לסיכום נאמר שנהוג להשתמש בשגיאה הריבועית הממוצעת כדי להעריך את טיב הקוונטיזציה. ניתן להשתמש ב r = r MSE= u P u du U כדי לחשב את התוחלת של השגיאה הריבועית, בהנתן היסטוגרמת תמונת המקור u, או ב M MSE= ( u[ m, u [ m, ) M m = n = כדי לחשב את הסטייה המעשית בין תמונת המקור u לתמונה שאחרי הקוונטיזציה u..4. קוונטייזר מקס-לויד (Ma-Loyd) זהו הקוונטייזר שממזער את השגיאה הריבועית הממוצעת,,MSE כפי שראינו בדוגמה שלעיל. כדי למצוא את רמות הייצוג ורמות ההחלטה של קוונטייזר שכזה, עלינו לפתור את מערכות המשוואות: + + r = r upu ( u) du r = r PU ( u) du r נוכל לפתור באופן איטרטיבי:. נבחר סט התחלתי ; { } r { } { r } נחשב את נעדכן את ע"י הנוסחה לחישוב מרכז הכובד שקיבלנו; ע"י הנוסחה לחישוב השכן הקרוב שקילבנו; תנאי עצירה אפשריים: האם רמת הדיוק מספיקה לנו? האם עשינו מספיק איטרציות? האם קצב השינוי של } { r קטן עם האיטרציות? האם ה MSE הנוכחי מספק אותנו? נוכל להחליט שסיימנו, ואם לא החלטנו שסיימנו, נמשיך לשלב עיבוד וניתוח תמונות, סיכום הקורס. נכתב ע"י אבי בנדל.

17 7 חשוב לציין שפתרונות איטרטיביים מסוג זה לא מבטיחים להגיא לפתרון האופטימלי, אלא לפתרון נכון בצורה מקומית..5. קוונטייזר אחיר q בקוונטייזר אחיד מתקיים: r = r + q, =,,3,... n = r + q r ובחירת צעד הקוונטיזציה, q אך ראינו כי השגיאה תקטן ככל ש נראה שיש כאן שתי דרגות חופש בחירת יקטן, לכן בחירת q איזה באמת דרגת חופש. בעצם, קוונטייזר אחיד לא כל כך טוב לנו. נביט בפילוג ההתסברות של הכניסה הבא (היסטוגרמה): PU ( u) u זוהי תמונה יחסית כהה, מכיוון שרוב הפיקסלים בעלי גוון כהה. קוונטייזר אחיד היה מפזר את רמות ההחלטה באופן אחיד ע"ג ההיסטוגרמה, מה שהיה גורם לשגיאה גבוהה עבור פיקסלים כהים..6. כימוי של תמונות צבעוניות תמונה צבעונית ניתנת לייצוג על-ידי 3 מטריצות, לכל אחד מהגוונים אדום (R), ירוק (G) וכחול (B). בצורה נאיבית, ניתן לבצע כימוי לכל אחד מהערוצים (צבעים) בנפרד. בד"כ פעולה זו לא יעילה. נביט, לדוגמא, בתמונה של דשא וכלניות, ונציג Scatter-Plot של הגוונים: צבעים ירוקים של הדשא G צבעים אדומים של הכלניות צבעים שחורים במרכז הכלניות R B,G,R של כל פיקסל, ושרטוט נקודה מתאימה לכל וקטור את ה Scatter-Plot יוצרים ע"י התבוננות בערכי ה B שכזה. ניתן לראות בבירור שבתמונה זו, אם היינו משתמשים בכימוי אחיד לכל ערוץ, היה בזבוז יש תחומים בכל ערוץ שכלל אינם בשימוש. 46 עיבוד וניתוח תמונות, סיכום הקורס. נכתב ע"י אבי בנדל.

18 ע., S i 8 נוכל לבצע קוונטיזציה וקטורית: נחלק את ה Scatter-Plot לאיזורים בעלי חשיבות (אלו יגדירו איזורי החלטה במקביל למונח רמות ההחלטה r i הצבעים באותו איזור (וקטור ייצוג i במקרה של גווני האפור), ולכל איזור החלטה כזה זה נגדיר וקטור המייצג את, במקביל למונח רמת ייצוג i במקרה של גווני האפור): G R B כך, עבור כל פיקסל במוצא, נשמור את מספר הוקטור המתאים לו, המייצג את צבעו. בדוגמה הזו בחרנו צבע אחד מייצג לצבעי השחור, 3 צבעים מייצגים לגווני האדום ו 6 גווני ירוק. :Color Map המתאים לו. נשמור נתונים אלו בטבלה, התקרא (,R,G לכל וקטור i יש לשמור את הצבע (B וקטור R G B = ( R, G, B) אזי נבחן כעת איך יכול הקוונטייזר לחשב את וקטור הייצוג המתאים לפיקסל כלשהו i, מתקיים הקרוב, אם לכל j, j "פ תנאי השכן (, i) d(, j) d. i, ולכין ייוצג ע"י וקטור הייצוג S i i, S i והשאלה היא איך נקבע את וקטורי הייצוג. נחשב את מרכז הכובד של מקבץ כעת, נאמר שנתונים איזורי ההחלטה הפיקסלים באזור ההחלטה הזה, כלומר: = i כאשר i S i הוא מספר הפיקסלים בתוך האזור. S i נבחן כעת את אופן ייצוג הצבעים בצורה אופטימלית מבחינת מערכת הראייה האנושית.,G (,R שלהם. עבור העין האנושית, עצמת האור של כל פיקסל היא נתון יותר כידוע, ניתן לייצג פיקסלים ע"י ערכי (B חשוב מאשר צבע הפיקסל (לכן תמונות שחור/לבן יותר ברורות לעין האנושית).. R+ G+ B שלו, ניתן לחשב, לדוגמא, ע"י הסכום (,R,G את עצמות האור של פיקסל,(Luminance) בהינתן ערכי (B ניתן לסכום ערכים אלו גם עם משקלים מסויימים. בכל מקרה, ניתן לבצע טרנספורמציה לינארית על השלשה,G,,R ולקבל מספר אחד המייצג את עצמת האור של הפיקסל. B בנוסף לעצמת האור, יש לשמור עוד אינפורמציה, הנקראת,Chromaticity המייצגת את צבע הפיקסל. אינפורמציה זו,Y. כאמור, העין האנושית פחות רגישה לפרמטרים אלו. נשמרת בשני מספרים נוספים, הנסמן כרגע ב Q בסופו של עניין, נוכל למצוא טרנספורמציה אשר תתן לנו את ערכי ( I, Y, Q) לכל פיקסל: 46 עיבוד וניתוח תמונות, סיכום הקורס. נכתב ע"י אבי בנדל.

19 9 I R Y 3 3 G = Q B מכיוון שהעין האנושית רגישה יותר לעוצמת האור, ופחות לצבע, נרצה לבצע קוונטיזציה עדינה לפרמטר, I וקוונטיזציה גסה יותר לשני הפרמטרים הנוספים: R G B I Y Q Q עדין Q גס כך, ניתן לחסוך בכמות האינפורמציה שיש לשמור עבור תמונה צבעונית, מכיוון שהתחשבנו בעובדה שקוונטיזציה גסה של האינפורמציה לגבי צבעי הפיקסלים תתן לנו תוצאה שהצופה האנושי יהיה מרוצה ממנה. G, ( R, שחזור ערכי B) עבור השחזור שונים מערכי כמובן שגם ערכי של כל פיקסל יתבצעו ע"י הטרנספורמציה ההפוכה. כמובן שיש לשים לב שערכי ( I, Y, Q) ( I, Y, Q) ( R, G, B)..7 תופעת Contouring שקיבלנו לאחר הטרנספורמציה הראשונה, מכיוון שאלו עברו קוונטיזציה. המשוחזרים יהיו, מאותה סיבה, שונים. שחזור I Y Q R G B כשמבצעים קוונטיזציה, ניתן להבחין בתופעה שבה מופיעים הבדלים ניראים לעין בין אזורים בצבעים שונים נראה כי יש קו מפריד בין שני אזורים אלו, ומכאן השם.Contour נקרא גם.Banding ניתן לראות את הסיבה לתופעה זו, בגרף הבא: צבע פלט הקוונטייזר קלט לקוונטייזר Q, וזאת כדי..8 פעולת Dithering פיקסל רמת החלטה פעולה הנועדה להעלים את עקבות תופעת ה.Contouring זוהי פעולה של הכנסה של רעש η הנע בטווח ערכים ידועים, בכוונה תחילה, לפני פעולת הקוונטיזציה לעדן את המעברים החדים הקורים בגלל המעברים בין רמות הייצוג. 46 עיבוד וניתוח תמונות, סיכום הקורס. נכתב ע"י אבי בנדל.

20 [ m, + Q η D D,, [ m דוגמא נביט באזור בתמונה, אשר ערכי הפיקסלים בו (גוון אפור) הם קבועים, בערך שלמים, ולכן נקבל:. 4.4 נאמר שהקוונטייזר מעגל למספרים צבע קלט לקוונטייזר פלט הקוונטייזר פיקסל כלומר, התמונה העברה כימוי תראה בהירה יותר מאשר המקורית. לאחר שנוסיף את הרעש, נקבל: קלט לקוונטייזר צבע 5 ואנו רואים שבאותו איזור שהיה בהיר יותר, יהיו עכשיו צבעים משתנים, כך שלעין האנושית (שבין היתר מבצעת מיצוע על קבוצות של פיקסלים, ולא רואה פיקסלים בודדים) תהיה תחושה של צבע יותר כהה מהצבע שערכו. 4 את התמונה שעברה כימוי m, ( sˆ [ נשמור במחשב. ) כעת נרצה להציג את התמונה (לשחזר את את שדה הרעש, sˆ [ m. [n נניח כי שמרנו במחשב, בנוסף לתוצאת הקוונטיזציה ). [,m [ m, + η, ולפני הצגת התמונה, נחסיר את הרעש: s[ m, n ] sˆ [ m, Q + [ m. ˆ [ m, פיקסל פלט הקוונטייזר 4 נחשב את שגיאת התהליך: η [ m, ( η) ( η) d = ˆ = s s ˆ = s s ˆ η [ m, כלומר השגיאה הכוללת שווה לשגיאה של פעולת הקוונטיזציה לא הכנסנו שגיאה נוספת בגלל ה.Dithering 46 עיבוד וניתוח תמונות, סיכום הקורס. נכתב ע"י אבי בנדל.

21 [ ],m η. פעולה זו יקרה מבחינת זכרון, ולכן נשתמש שימו לב כי הנחנו כאן שאנחנו שומרים את מטריצת הרעש n בפסאודו-רעשים חסכוניים יותר, כגון סדרה הנראת אקראית, המורכבת מהספרות המרכיבות את המספר.π = Error Diusion..9 נמשיך כעת ונבחן שיטה טובה יותר להתגבר על תופעת ה Contouring של פעולת הקוונטיזציה. ראינו שפעולת ה Dithering עזרה לנו להציג את התמונה בצורה טובה יותר כאשר היו מעברים בין רמות ייצוג. אבל יחד עם זאת, תוספת הרעש תפגע בתמונה באזורים בהם הערך האמיתי תואם לרמת הייצוג אם, בהתאם לדוגמה שלעיל כאשר לא מוסיפים רעש, ערכי הפיקסלים הם 4, אזי הקוונטייזר ייצג אותם כראוי ערך המוצא יהיה 4. הוספת הרעש תפגע בייצוג זה, שכן הרעש מתווסף לכל הפיקסלים בתמונה. שיטת Error Diusion (פעפוע השגיאה) באה להוסיף רעש בצורה חכמה יותר מאשר שיטת.Dithering בשיטה זו אנחנו נבדוק אם שגיאת הקוונטייזר, בזמן פעולתו, מצריכה הכנסה של "רעש" (לא באמת נכניס רעש, אלא משהו אחר). [ + s[ n ] ŝ[ Q ˆ [ e[ n ] Delay + e[ כאן אנו רואים הצגה וקטורית התמונה [ של כלל הפיקסלים של התמונה (כלומר יש לקחת את כל M,n [ לפי הסדר, נאמר משמאל למעלה עד צד ימין למטה, ולהניח אותם בוקטור אחד ארוך). m] בשגיאת הקוונטיזציה, [ ] = ˆ[ ] [ ], e n s n s n נשתמש כדי להוסיפה לערך הפיקסל הבא בתמונה, כלומר נבצע [ ] = [ ] + [ ] s n n e n דוגמא: נביט באזור מהדוגמא הקודמת, בו ערכי התמונה הם 4.4 והקוונטייזר מעגל למספרים שלמים: n [ e[ n ] s[ ˆ [ הפיקסלים של לשימחתנו, קיבלנו אפקט רצוי הערך 4.4 יקבל במוצע ערכים קוונטיזציה משתנים, וכך, לאחר השחזור ומיצוע מערכת הראייה, הצופה האנושי יראו ערך שבין 4 ל 5, כמו בתמונה המקורית. היתרון הנוסף, כפי שרמזנו בתחילה, הוא שערכים שלא צריכים להשתנות, אכן לא משתנים. לדוגמא: n [ e[ n ] s[ ˆ [ לסיכום, כשאנחנו משתמשים במנגנון אדפטיבי זה, אין צורך להכניס רעש סינטזי לתמונה. 46 עיבוד וניתוח תמונות, סיכום הקורס. נכתב ע"י אבי בנדל.

22 3. פעולות נקודה,n ]. באופן אנלוגי למערכות בחד- m].3. הקדמה פעולות נקודה הן פעולות שבהן המוצא בנקודה מימד, סוג פעולות אלו נקראו "חסרות זיכרון". [ n, m] תלוי רק בכניסה בנקודה לדוגמא, ניתן להביט בפונקציה הבאה: g g כאשר ערך פיקסל בכניסה (הערך המציין את גוון האפור שלו), ו g תלוי רק ב, ולא בשכניו. ערך הפיקסל (גוון האפור) במוצא. כאמור 3.. מתיחת ניגודיות (Contrast) g הפעולה הבאה: מבצעת "מתיחת,"Contrast מכיוון שהתחום הנמוך והגבוה של גווני האפור עוברים לתחומים צרים, בעוד התחום,,9 נמתח לתחום הצר במרכז גווני האפור עובר לתחום רחב במוצא. ע"י כך שהתחום הצר יחסית באמצע, ] [ רחב יותר [4 ],,4 ישנה כאן הגברה של התחום, במובן שהצופה האנושי יוכל להבחין טוב יותר בפרטים הנמצאים בתחום זה. מאידך, התחום [, [ מתכווץ לתחום [,4 ], ולכן פרטים כהים (שגווני האפור שלהם במקור היו בין ל ) יהיו פחות ניתנים להבחנה לאחר מתיחת הקונטרסט. מתי נראה שיפור בתמונה? כאשר תמונה היא יחסית אפרורית, כלומר אין הרבה גוונים קרובים מאוד לקצוות (שחור ולבן), הפעולה לא תגרום להפסד ניכר בקצוות, ומצד שני, התחום שבו רוב הפיקסלים מופיעים יעבור מתיחה, וייוצג ע"י תחום רחב יותר של גוונים, ולכן הצופה האנושי יראה שיפור משמעותי בהבחנה בפרטים. 46 עיבוד וניתוח תמונות, סיכום הקורס. נכתב ע"י אבי בנדל.

23 דוגמא לפונקציה למתיחת קונטרסט כאשר תמונה מיוצגת ב 55 גווני אפור, נחשב את 3, גוון האפור המינימלי, ונבצע: min, גוון האפור המקסימלי ו min 55 g= ma באופן זה, נשתמש באופן אפקטיבי יותר בתחום בדימני שבין ל 55, כך שנייצד את כל רמות האפור הקיימות בתמונה בעזרת התחום הזה (בתחום המקסימלי). ma : [, 55] 3.3. פעולת סף (hresholding) פעולה זו הופכת תמונת גווני לאפור לתמונה בעלת שני צבעים בלבד, וזאת ע"י הבחנה בסף מוגדר g סף זה לא חייב להיות באמצע, כלומר בערך 8, אלא יכול להקבע על-ידנו. פעולה זו נקראת גם "בינאריזציה" תיקון גאמא תיקון גאמא Correction) γ) מבצע מתיחת קונטרסט ע"י משפחה של קווים מעוקלים מהצורה g = γ [ ] נביט על גווני האפור כמנורמלים לערכים בתחום., בפעולה זו, חוץ מהערכים ו, הנשארים בערכם המקורי, ניתן למתוח את תחום הגוונים הבהירים או את תחום הגוונים הכהים, בהתאם ל γ. המתיחה בתחום אחד באה על חשבון הכיוון בתחום האחר, כפי שניתן לראות בגרף הבא. g γ = γ = ניתן לשלב ולבצע תיקון גאמא לאחר ביצוע מתיחת קונטרסט: γ ma g = ma min מתיחת הקונטרסט מביאה את ערכי הגוונים האפורים לתחום [, ], ולאחר מכן מתבצע תיקון גאמא. תיקון גאמא הוא תיקון שנכנס בעקבות עיוות שנוצר בעת שידורי הטלביזיה. מסיבות של תאימות לאחור, תיקונים כאלה מוכנסים היום למשדרים וגם למקלטים, למרות שכבר כלל אין צורך באלו. 46 עיבוד וניתוח תמונות, סיכום הקורס. נכתב ע"י אבי בנדל.

24 עיצוב היסטוגרמה את מונח ההיסטוגרמה כבר פגשנו בפרקים הקודמים. Pg ( ) ותמונת הפלט, P נניח כי היסטוגרמות (צפיפות ההסתברות של גווני האפור) תמונת המקור, ( ( ניתן לראות את השפעת מתיחות הקונטרסט שביצענו בסעיפים הקודמים על ההיסטגרמה של התמונה. נרצה כעת לעצב את ההיסטוגרמה של תמונה כלשהי, כלומר להביא את ההתפלגות הידועה של תמונת המקור הן רציפות. P ( ). Pg נרצה לדעת מה היא הטרנספורמציה (נניח מונוטונית) שתשנה את ההיסטרגמה באופן להתפלגות רצוייה הזה. נביט בפונקציות ההסתברויות המצטברות: Pr{ } F = = P d Pr{ } Fg = g = Pg d F ( ) = Pr{ } = Pr{ ( ) ( ) } Pr{ } Pr { } g( ) F = = g = F Fg נניח ש וכמובן מונוטונית עולה: g=, ולכן וגם F ומכיוון ש הטרנספורמציה שחיפשנו: מונוטוניות עולות, יש להם פונקציות הופכיות, ואז מהשוויון שלעיל ניתן לקבל את ( ) = Fg F ( ).3.6 קיזוז היסטוגרמה Equialization) (Histogram נביט כעת במקרה הפרטי בו נרצה שההיסטוגרמה במוצע תהיה אחידה (קבועה לכל גוון אפור): Pg ( ) g Pr{ } F = g = P d= F g = = F F = F g g לכן במקרה זה: וההופכית: ולכן קיבלנו כי P ( ) דוגמא נביט בתמונה בעלת ההיסטורגמה הבאה: ( ), =, else 46 עיבוד וניתוח תמונות, סיכום הקורס. נכתב ע"י אבי בנדל.

25 5 P ( ) F ( ) = = F P d נקבל: בעזרת ההשוואה לקו האלכסוני (שלא משנה את ההיססטוגרמה זוהי פונקצית היחידה), אנחנו רואים, ) ( = F תבהיר את התמונה. דבר זה מתאים לעובדה כי ראינו שהתמונה המקורית שהטרנספורמציה שלנו, ( ( בעלת צבעים מאוד כהים., F מבצעת את הקיזוז כעת נרצה שההיסטורגמה של תמונת הקלט תהפוך להיסטוגרמה הבאה:, Pg ( ) =, else ע "י חישוב נקבל Fg ( ) = ולכן הטרנספורמציה המתאימה היא ( ) = F F = F =, F מביאה את ההיסטוגרמה האחידה לצורה המבוקשת. g g ניתן לראות שיש כאן בעצם הרכבה של פוקציות, כאשר הפונקציה הראשונה, g ( ( שראינו בהתחלה, והפעולה השנייה, (Equalization) 46 עיבוד וניתוח תמונות, סיכום הקורס. נכתב ע"י אבי בנדל.

26 6.3.7 טבלאת איתור able) (Loo-up עד כה, התייחסנו להסיטוגרמות כאל פונקציות רציפות. אך כמובן שהדבר לא כך. בפועל, פעולות נקודה מתבצעות בעזרת טבלאות איתור, כאשר הטרנספורמציה מעבירה ערך של פיקסל לערך חדש בהתאם לטבלה. לדוגמא, הטבלה הבאה מייצגת טרנספורמציה שפועלת על תמונה בעלת 4 גווני אפור אפשריים. באופן כללי, הטרנספורמציה תבהיר את התמונה: גוון במוצא, g גוון בכניסה, 7 סידורי 3 4 דוגמא בתמונה יש פיקסלים, וסה"כ 8 רמות אפור. להלן וקטור ההיסטוגרמה של התמונה: h = [ ] ניתן לראות שגווני הפיקסלים מרוכזים ברמות האמצעיות. נרצה לקבל את ההיסטוגרמה הבאה במוצא: h g = [ ] באופן אנלוגי לפונקצית ההסתברות המצטברת, נחשב את פונקצית ההיסטוגרמה המצטברת של ההתפלגות המקורית : g ושל ההתפלגות הרצויה במקרה הרציף, דרשנו ש הטרנספורמציה צריכה לקחת גוון H H g = = [ ] [ ], Fg כלומר באופן אנלוגי, ( ( ) ) = F ( ) נרצה ש g ( ) = ( H ( ). H H כלומר, כלשהו (בעל ערך בהיסטוגרמה המצטברת ולהמיר אותו לגוון בעל אותו. H בגלל האופי הבדיד של ההיסטוגרמות, כמובן שלא ניתן לעשות זאת. לכן, נבחר g ערך בהיסטוגרמה המצטברת את הטרנספורמציה באופן שהערכים יהיו קרובים מספיק. לדוגמה, פיקסלים עם גוון (בתמונה המקורית, מתאימים 3 פיקסלים בעלי גוון או פחות) יעברו להיות פיקסלים בעלי גוון (כי בהיסטוגרמה המצטברת הרצויה יש 4 פיקסלים בעלי גוון זה או פחות, וזה מספר הפיקסלים הקרוב ביותר ל 3). לסיכום, נקבל את ה Loo-Up able הבא: גוון במוצא, g גוון בכניסה, h נוכל לחשב את ההיסטוגרמה הסופית שנקבל, בעקבות הטרנספורמציה שהגדרנו: h g = [ ] איך חושבה ההיסטוגרמה? לדוגמה גוון : ע"פ הטרנספורמציה, כל הפיקסלים שמקור היו בגוון (יש פיקסל אחד כזה, לפי ( וגם כל הפיקסלים שבמקור היו בגוון (יש שני פיקסלים כאלו, לפי ( יהיו במוצא בגוון סה"כ, h ע: "פ הטבלה, אף פיקסל לא יהיה בגוון כזה, לכן = 5. h g = 3. h גוון 5 g 46 עיבוד וניתוח תמונות, סיכום הקורס. נכתב ע"י אבי בנדל.

27 7 4. פעולות מרחביות 4.. מבוא.4. פעולות מרחבית הן פעולות אשר, בניגוד לפעולות נקודה, מתחשבות ביותר מנקודה אחת כדי לייצר את הפלט בנקודה מסויינת. סינון לינארי סינון לינארי מתבצע ע"י העברת האות (התמונה) דרך מערכת לינארית עם תגובה להלם : h[ n, m] [, ] m n H g[ m, אות המוצא מתקבל ע"י קונבולוציה: [, ] = [, ] [, ] = [, ] [, ] g m n m n h m n h r m n r = r= ראינו שביצוע קונבולוציה, באופן גרפי ובמקביל לקונבולוציה בחד-מימד, יש לבצע היפוך (שתי פעולות ראי) של מטריצת גרעין הקונבולוציה, ביצוע מעבר על התמונה, הכפלה וסכימה איבר איבר. לעיתים נוח להגדיר "פעולת מסכה", אשר די דומה לפעולת הקונבולוציה. אם המסכה w היא תמונת ראי (היפוך האיברים מימין-לשמאל ומעלה-מטה) של גרעין הקונבולוציה : h w m, n = h m, n פעולת המסכה בעזרת, h מוגדרת כך: [ ] [ ], w המבצעת את אותה הפעולה כמו קונבולוציה עם [, ] = [, ] [ +, + ] g m n w r m n r = r= מבחינה גרפית, הפעולה זהה לפעולת הקונבולוציה, רק שאין צורך לבצע את פעולות הראי על גרעין הפעולה פשוט לוקחים את מטריצת המסכה, ומעבירים אותה על תמונת המקור. יש לשים לב שפעולת מסכה אינס אסוציאטיבית כמו פעולת הקונבולוציה, כלומר, בעוד ש ( g) h= ( g h) מתקיים ( g) h ( g h) כאשר מסמל כאן את פעולת המסכה מיצוע מקומי h= 9 זוהי פעולת סינון לינארי עם המסנן (לדוגמא): פעולה זו תפיק במוצע את הערך הממוצע של פיקסל ושמונת שכניו. כאשר מסתכלים על איזור אחיד (גוון אפור זהה), המסנן לא ישנה אותו, אך כאשר יש מעברים בין גוונים, מסנן זה ימצע את המעברים, ולכן יווצר טשטוש. פעולת מיצוע היא בעתם סינון-העברת-נמוכים, כלומר.LPF Low Pass Filtering מסנן זה טוב בסינון רעשים לבנים. זאת מכיוון שתכולת התדר של רעש לבן היא די אחידה על-גבי כלל התדרים (כלומר, יש לרעש הלבן אנרגיה בכל התדרים), לעומת תמונות, אשר סטטיסטית יש להן אנרגיה בעיקר בתדרים הנמוכים. 46 עיבוד וניתוח תמונות, סיכום הקורס. נכתב ע"י אבי בנדל.

28 ע, כ, 8 באופן כללי, שימוש במסנן לינארי כדי לסנן רעשים הוא בעייתי, כי מסנן כזה נוטה לטשטש שפות בתמונה (שפה היא איזור שבו יש שינויים חדים בגווני האפור) מסנן חציון (Median) 3 עבור סביבה מסויימת (ניקח דוגמה של 3 פיקסלים), הערך במוצא יהיה החציון של 9 ערכי הפיקסלים השכנים. נראה כי מסנן זה אינו ליניארי: א. החציון של המטריצה הבאה הוא : ב. החציון של מטריצה זו הוא גם : =, + אלא : ג. אבל, החציון של סכום המטריצות אינו 3 לדוגמא, נביט בפעולת המסנן, בגודל 3 ל המטריצה הנ"ל: הערך במוצא, בפיקסל [3,3 [,יהיה החציון של 9 הערכים 4,5,5,5,6,6,6,6,7 לומר 6. יתרונו הגדול של מסנן חציון הוא בכל שהוא עמיד לשינויים חדים בערכים. למשל, גם אם אחד הפיקסלים בערך 6 היה מקוול עיוות לערך גבוה כלשהו, נאמר 5, עדיין המוצא היה 6. המסנן הממצע שפגשנו קודם היה משופע משינוי כזה, אבל מסנ זה עמיד לשינוי זה. לכן, פילטר זה אפקטיבי מאוד בסינון רעשים תוך כדי שמירה על שפות גזירת תמונה נחשב את הגרדיאנט של התמונה: (, ) ˆ y yˆ (, y) = + = + y y הגרדיאנט של התמונה הוא מדד טוב לגבי שינוי העוצמה בתמונה, בכל מרחב התמונה.,[ m, כמובן שהתמונות שלנו הן דיסקרטיות, ולכן נוכל רק לקרב את ערך הנגזרת. ביטוי לקירוב הנגזרת בפיקסל [n בכיוון העמודות הוא [ m, [ m, והוא נקרא נגזרת אחורית. ניתן גם לחשב את הנגזרת הקדמית: [ m+, [ m, נוכל לקחת את ממוצע בין שתי אלו, לקבל: [ m+, [ m, [ m, y 46 עיבוד וניתוח תמונות, סיכום הקורס. נכתב ע"י אבי בנדל.

29 9 h=, כלומר [ ] ובצורה דומה, עבור נגזרת בכיוון השורות: [ m, n+ ] [ m, n ] [ m, חישוב המטריצה המייצגת את שקול לביצוע קונבולוציה של התמונה עם הגרעין [ m, = [ ] הנגזרת היא סוג של מסנן-מעביר-גבוהים,.HPF High Pass Filter אם ניקח תמונה מורעשת, הרעשים יוגברו בתדרים הגבוהים. לכן, בד"כ נרצה לסנן את התמונה לפני גזירתה, כלומר להעבירה במסנן.LPF נאמר שאנו מסנים את התמונה במסנן הממצע שראינו קודם: h = 9 לכן, בסיכומו של דבר, כדי לגזור נרצה להעביר את התמונה בשני המסננים הללו: [ m, = ( h) h= [ ] 8 = 8 ואז המסנן האחד שקיבלנו הוא,BPF Band Pass Filter מכיוון שהוא מסנן תדרים נמוכים (התרומה של המסנן הממצע) ומסנן תדרים גבוהים (התרומה של המסנן הגוזר). לצורך גילוי שפות, נקרב כעת את הנגזרת השנייה ע"י חישוב ההפרש בין הנגזרת הקדמית לנגזרת האחורית (שקול לביצוע נגזרת קדמית על תמונת הנגזרת עצמה): [ m, ( [ m+, n ] [ m, ) ( [ m, [ m, ) y. h= [ ] [, ] [, ] [, ] = m+ n m n + m n m, n m, n m, n m, n [ ] [ + ] [ ] + [ ] ובכיוון השורות נקבל: וכמו בנגזרת הראשונה, הפעולה האחרונה שקולה לביצוע קונבולוציה עם המסנן (, ) (, ) y y, y = + ניתן לקבל את אופרטור הלפלסיאן y בעזרת קונבולוציה עם המטריצה: h lap = 4 הלפלסיאן הינו מסנן,HPF מהיותו גוזר (ניתן לראות בקלות כי איזורים בעלי ערכים אחידים (תדר DC ללא שינויים) נעלמים. ניתן לקבל מסנן HPF גם בעזרת הפעולה הבאה: hhpf = δ[ m, hlpf = 8 9 = 9 46 עיבוד וניתוח תמונות, סיכום הקורס. נכתב ע"י אבי בנדל.

30 3 פעולה זו מסירה מהתמונה המקורית תמונת עם התדרים הגבוהים חידוד תמונה (קולבולוציה עם מסנן היחידה, δ) את הסינון הנמוך, ולכן מה שנותר הוא ( ) נשתמש בנגזרת כדי לבצע חידוד של תמונות. נביט בפרופיל של גווני אפור באזור שפה: ( ) פרופיל הנגזרת באותו אזור: והנגזרת השנייה: :( אם נחסיר מהתמונה המקורית את הנגזרת השנייה, נקבל אפקט של הדגשת שפה (במקוקו הפונקציה לפעולה זו קוראים,Unsharp-Masing ומתמטית ניתן לקבל אותה כך: g[ m, = [ m, α [ m, וכבר ראינו שניתן לממש פעולה זו בעזרת קונבולוציה: 46 עיבוד וניתוח תמונות, סיכום הקורס. נכתב ע"י אבי בנדל.

31 3 [, ] [, ] [, ] [, ] [, ] g m n = m n α m n = m n δ m n αh lap = [ m, α 4 = α = [ m, α α 4 α + α 4.7. גילוי שפות כדי לגלות שפות בתמונה, ראשית נחשב את נגזרתה השנייה: [, ] = [ m, g m n לאחר מכן נגדיר גוון סף ונבצע פעולת סף. ככל שהסף יהיה גבוה יותר, נקבל פחות איזורים הנחשבים שפות..4.8 מסנן Wallis זהו מסנן אדפטיבי לתוכן התמונה: הוא עובד על איזורים קטנים ולכל איזור פועל בצורה המתאימה לו. <להשלים אם צריך> 46 עיבוד וניתוח תמונות, סיכום הקורס. נכתב ע"י אבי בנדל.

32 3 5. שחזור תמונות 5.. בעית השחזור נרצה לשחזר תמונה שעברה הפרעה, ע"פ המודל הבא: [ m, H + y[ m, m, ˆ [ משחזר [, ] m n רעש אות משוחזר מערכת מטשטת אות מקורי כבר ראינו בעבר מערכת שנועדה לקזז הפרעה משודרת תיקון גאמא. במקרה זה יודעים את העיוות הנוצר, ולכן לא מסובך לתקנו. כאשר H היא מערכת,LSI כלומר מתבצעת ע"י קונבולוציה, אזי לפעולת השחזור קוראים דה-קובולוציה De-).(convolution נציג את הסכמה שלעיל כאשר המערכת הלינארית היא לא יותר מאשר מטריצה, והאותות (התמונות) מסודרים בוקטור, בסידור עמודה או בסידור שורה: X H + Y Xˆ משחזר. X X כאשר במשוואה זו, על היא התמונה המקורית ו Y היא התמונה שנשמרה בזיכרון המחשב: Y = HX + H ו Y X נתונים, יכול להיות לנו ידע סטטיסטי על הרעש, והיינו רוצים לשחזר את אנו יודעים כמה פרטים, כמו למשל העובדה שערכיה ממשיים חיוביים, ואת מימדיה. 5.. שערוך סטטיסטי.Y זהו שערון כאשר נתונים לנו נתונים סטטיסטיים לגבי התמונות X או PX את פונקצית צפיפות ההסתברות Function) (PDF Probability Density של התמונה. X מרחב נסמן ב המדגם שלנו הוא בעצם כל התמונות האפשריות. לדוגמה, ההסתברות לקיומה של תמונה מרוכבת היא. באותו אופן, נסמן ב בהנתן תמונת המקור המתאימה לכך היא תמונה מקור PY ( y) את פונקצית צפיפות ההסתברות של התמונה.Y, X ניתן לשאול מה היא ההסתברות לקבלת תמונה Y. פונקצית צפיפות ההסתברותה. P באופן מקביל, כאשר נתונת תמונת התוצאה Y, נוכל לבדוק את ההסתברות לקבלת ( y ) ( y) Y X. P X Y : X 5.3. משערך סבירות מירבית Lielihood) (Maimum : X זהו משערך המביא למקסימום את ההסתברות לקבלת התמונה Y, בהנתן תמונת מקור 46 עיבוד וניתוח תמונות, סיכום הקורס. נכתב ע"י אבי בנדל.

33 33 Y X X ˆ = argma P y ML X = δ( ) P y y H Y X אם אין רעש, אזי נניח כי הרעש הוא רל"ג (רעש לבן גאוסי) בעל ממוצע, כאשר c מקדם נרמול: n n n P ( n) = c ep c ep = σ σ ואז ( y H) ( y H ) y H PY X ( y ) = P ( y H) = c ep c ep = σ σ y הוא ההפרש בין האות הנתון לשערוך הדטרמיניסטי והוא התפלגות הרעש (כשיש רעש, ל y יש כאשר H Xˆ ML y H = argma ep X σ סטייה מ H שהיא בדיוק הסטייה של הרעש). נקבל והאקספוננט מקסימלי כאשר החזקה מינימלית, לכן { } Xˆ = argmin y H ML X כלומר, אנחנו מחפשים X כך שאם נטשטש אותו ע"י מסנן, H נקבל משהו שמאוד דומה לנתון - Y. נחפש את המינימום ע"י גזירה והשוואה לאפס: = y H = (( y H) ( y H) ) = H ( y H) H y+ H H= H H= H y ˆ X = H H H y ML H ואם, H כאשר H H H מטריצה הופכית היא הפסאודו-הפיכה של מטריצה ריבועית והפיכה, אז מתנוונים למקרה של ˆ ML = = = = X H H H y H H H y H Iy H y אם H H אינה הפיכה (ואז ל H אין פסאודו-הפיכה), נבצע רגולריזציה: נגדיר מטריצה H H H = H H+ε I H H+ε כאשר ε קטן מאוד. מטריצה I אי-שליליים, ואז הערכים העצמיים של תהיה הפיכה מכיוון ש גדולים ממש מאפס עבור היא מטריצה שהערכים העצמיים שלה הם.ε H H+ε I.5.4 משערך (Maimum a-posteriori Probability) MAP הרעיון במשערך סטטיסטי זה הוא להתחשב במידע סטטיסטי מוקדם שיש לגבי האות שאותו מנסים לשחזר,, X. P X כלומר ידוע ( ( לפי חוק :Bayes 46 עיבוד וניתוח תמונות, סיכום הקורס. נכתב ע"י אבי בנדל.

34 P X Y ( y), X אנחנו מתנוונים חזרה לשערוך Y PY X y PX PX, Y, y = = P y P y 46 עיבוד וניתוח תמונות, סיכום הקורס. נכתב ע"י אבי בנדל. Y, נקבל כי Xˆ = argma P y = argma P y P MAP X Y Y X X X X PY ( y) 34 מכיוון ש ניתן לראות שאם לא תלוי בערכי PX לא ידוע, כלומר אין ידע פריורי (ידע מוקדם) על ( ).Maimum Lielihood, PX בכך לבעיה זו אין פתרון מתמטי, אלא פתרון הנדסי. לדוגמא, ניתן לומר שיש לנו ידע מקדים על, כלומר שהתמונה לא תקבל ערכים שליליים (כי הפיקסלים הם מספרים ממשיים חיוביים), ושאין בתמונה פיל אדום (או לפחות בסבירות מאוד נמוכה), או שהתמונה חלקה. בד"כ תמונות הן חלקות, ולכן ניתן להשתמש בלפלסיאן. את פעולת הלפלסיאן ניתן לייצג ע"י אופרטור לינארי, כלומר מטריצת טופליץ, נסמנה. D כלומר, נשתמש ב D PX ( ) = c ep c ep = σ σ D נוכל להעביר את התמונה באופרטור הלפלסיאן, ולראות עד כמה התוצאה קרובה לאפס, מכיוון שעבור תמונות חלקות, הלפלסיאן די מתאפס וע"פ ההגדרה שלעיל, ההסתברות תהיה גבוהה לתמונה זו. אם יהיו הרבה שינויים בתמונה המוצעת בתור התמונה המשוחזרת, נקבל ערכים גבוהים ללפלסיאן, מה שיקטין את ההסתברות לתמונה מוצעת זו. אם נניח כי הרעש הוא רל"ג, אזי כפי שראינו בפיתוחים הקודמים, נקבל כי ˆ argma ( ) argma ep y H ep D X MAP = PY X y = X X σ σ D ואז יש למזער את הארגומנט של האקספוננטים, כלומר y H D ˆ X MAP = argmin + X σ σ D σ D הוא גודל σ. במודל זה, נשים לב שהפתרון במודל Maimum Lielihood לא היה תלוי בשונות הרעש.σ D שבשליטתנו: ככל שנרצה להרשות תמונות משוחזרות עם נגזרות גבוהות (שינויים חדים), נגדיל את. H במודל ה,Maimum Lielihood רצינו למצוא את ה כלומר, אם התוצאה לא קרובה ל שיסביר הכי טוב את, y כלומר את שעבר טשטוש, y נקבל "קנס". במודל,MAP ניתן לרשום, בהמשך לפיתוח שלעיל, כי ˆ σ X MAP = argmin y H + D X σ D σ D שבחרנו). בשיטת,MAP ניתן ואז רואים כי נקבל "קנס" גם על היות התמונה לא חלקה מספיק (לפי הקריטריון σ. σ D להביא לידי ביטוי את ה trade-o בין דרישת ההתאמה לנתונים לבין הדרישה לחלקות ע"י הביטוי נחפש את המינימום ע"י גזירה והשוואה לאפס: σ σ = y H + D H = ( y H) + D D σ D σ D σ H ( y H) + D D= σ σ H y+ H H+ D D= D σ D σ σ D ˆ X MAP = H H+ D D H y

35 35 המטריציה שיש להפוך כאן מזכירה את המטריצה שקיבלנו בשיטת Maimum Lielihood לאחר הרגולציה. במקרה הזה, המטריצה D D מבצעת את פעולת הרגולציה. הרעיון הוא שאם H H אינה הפיכה, אזי יש מספר תמונות מקור שיכולות לתת את התמונה הנצפית, y אבל כאן אנחנו בוחרים מכל האפשרויות האלו את התמונה הכי חלקה. מעשית, לא משחזרים תמונות באופן שתארנו, בגלל הבעייתייות הטכנית בהיפוך של מטריצות גדולות שימוש ב Steepest Descent אנחנו מחפשים את נקודת המינימום של הביטוי σ J = y H + D σ D = ˆ מכיוון שאנחנו יודעים שקיימת נקודמת מינימום, ושהיא היחידה, נוכל להתסכל על הפונקציה בנקודה מסויימת, ואז לזוז לאורכה, בכיוון היוביל אותנו למינימום, כלומר בכיוון הפוך לגרדיאנט, בצעדים. באופן איטרטיבי, נבצע J( ) ˆ ˆ + = µ כאשר µ הוא גודל הצעד אותו עושים בכל פעם. 46 עיבוד וניתוח תמונות, סיכום הקורס. נכתב ע"י אבי בנדל.

36 36 6. דחיסת תמונות 6.. תורת האינפורמציה I באירוע, ביחידות של ביטים, היא 6... אינפורמציה. מידת האינפורמציה ההסתברות לאירוע E היא E P I( E) = log [ ] [ ] bits = log P E bits P E האינפורמציה היא מדד לאי-הוודאות של האירוע. ככל שהאירוע וודאי יותר, הוא אינו נושא אינפורמציה. log P P E עבור שני אירועים בלתי-תלויים, E האינפורמציה היא אדיטיבית (מתווספת): ו I( E, E) = log = log = P E, E P E P E = log + log = I E + P( E ) I( E ) P E תווים, כאשר לכל תו אלף-בית סופי. כלומר הערכים שכל תו מקבל הם בדידים וסופיים: { } 6... אנטרופיה נסתכל במקור הפולט A = a i i = התווים הם בלתי תלויים ביניהם. האינפורמציה הממוצעת של המקור הפולט את התויים הבלתי תלויים: H( u) = log( PU ( u) ) PU ( u) u A u A U P u= = p P u= = p U ( U ) U H u = log P u P u = p log p p log p דוגמא מקור בינארי חסר זיכרון (הטלת מטבע): bits. symbol האנטרופיה: יחידות האנטרופיה הם 46 עיבוד וניתוח תמונות, סיכום הקורס. נכתב ע"י אבי בנדל.

37 במקרה של וודאות מלאה, כלומר =p היא אפס: במקרה של מטבע הוגן, 37 או =p, לא תהיה אינפורמציה מהמאורעות, ולכן גם האנטרופיה שנקבל H( u ) = log log = =p, נקבל אינפורמציה מלאה מהאירועים, ולכן אנטרופיה מקסימלית: H( u ) = log log = log = H H u log P באופן כללי: כאשר ההתפלגות היא אחידה, אי הוודאות מקסימלית, ואז מקבלים אנטרופיה מקסימלית: H( u) = log( PU ( u) ) PU ( u) = log = log u A u A 6.. משפט ההצפנה של Shannon. H( u) המשפט:. מקור H( u) בעל אנטרופיה u לכל. לא ניתן לייצוג במספר סיביות ממוצע לסימבול הקטן מ + ε קטן כרצוננו, קיים עקרונית אלגוריתם דחיסה לקצב נמוך מ ε >. H u משפט Shannon מציב חסם תחתון לביצועים של דחיסה משמרת. כלומר כדי לדחוס אות (מקור לביטים) בצורה שתשמור על כל המידע, האנטרופיה שלו, (u, )H היא חסם תחתון למספר הביטים לסימבול שנצטרך להשתמש בהם. המשפט גם אומר שניתן להתקרב לאותו חסם כרצוננו, אך אינו מפרט את האלגוריתם. מדובר על הקצב הממוצע מספר הביטים הממוצע לייצוג סימבול (פיקסל). לא הכרחי כי לכל פיקסל נשתמש מספר ביטים אחיד (לדוגמה, קוד הופמן), אבל הממוצע המשוקלל של מספר הביטים הנדרשים לייצוג כל פיקסל הוא החסם המדובר..6.. חוסר תלות בין תווים כשדיברנו על אנטרופיה, אמרנו שהמקור (התמונה שלנו) פולט סימבולים (הפיקסלים בתמונה) באופן בלתי תלוי. אבל, כשמדובר בתמונה, בד"כ יש קשר בין פיקסלים שכנים: אם פיקסל היה כהה, יש סבירות גבוהה שגם הפיקסל שלידו כהה..6.. תלות בין תווים נביט במקור הפולט סדרה אקראית של וקטורים כאשר X = [ ] { } ו הם חלק מהאלף-בית של המקור, כלומר., a = i i 46 עיבוד וניתוח תמונות, סיכום הקורס. נכתב ע"י אבי בנדל.

38 38 נאמר שזוגות המספרים הם זוגות של פיקסלים עוקבים בתמונה, ולכן קיימת תלות בין רכיבי הוקטור. עדיין בין כל שני וקטורים, יש אי-תלות. כלומר סדרת הוקטורים היא.IID = Independent Indentically Distributed לכל צמד מספרים יש הסתברות, ולכן האנטרופיה במקרה זה: ( ), ( i, j) log, ( i, j) [ ] H X = H = P a a P a a P ( a a ),, i j i, j= אם הפיקסלים הצמודים ו היו בלתי-תלויים, ההסתברות היתה מכפלת ההסתברויות =,, log i j i j i H X P a a P a P a a i, j= i, j=, P a P a אך לא כך הדבר. ע"י שימוש בחק Bayes נקבל (, ) log log ( ) = P a a P a + P a a, i j i j i (, ) log (, ) log ( ) = P a a P a P a a P a a, i j i, i j j i i, j= i, j= (, ) log ( ) log S = P a a P a = P a P a a P a, i j i i j i i i= j= i= j= P ( a ) i log P a i P a log j ai P a i P a i H = = = i= j= i= i j נפתח את הסכום הראשון: נפתח את הסכום השני: (, ) log ( ) ( ) log ( ) S = P a a P a a = P a P a a P a a, i j j i i j i j i i= j= i= j= = = = = i= j= i= P ( a ) i P a log j ai P a j ai P a i H ai H = ([ ] ) = + ( ) H X H H H ( ) H H כלומר כאשר ידוע כי, אז H H מכיוון H היא מדד לחוסר הוודאות של הפיקסל השני אינטאיטיבית, מכיוון ש שבהינתן הפיקסל הראשון, חוסר הוודאות לגבי הפיקסל השני קטן. כאשר כל הפיקסלים בלתי תלויים, יתקבל השוויון. ), H( ) = H( ולכן קיבלנו = + ( ) + = H X H H H H H מכיוון שלכל הפיקסלים אותה סטטיסטירה, אזי לכן, אם נקודד זוגות פיקסלים, נטפל במידע עם פחות אנטרופיה, וע"פ משפט הצפינה, נוכל להשתמש בפחות ביטים. נכליל את התוצאה שלעיל עבור מקור הפולט תווים, ונקבל n= H( ) H X n 46 עיבוד וניתוח תמונות, סיכום הקורס. נכתב ע"י אבי בנדל.

39 דחיסה לא משמרת מערכת כללית לדחיסה ופריסה מחדש של המידע הדחוס נראית כך: פריסה דחיסה ˆ (, ˆ) E d כאשר הדחיסה משמרת, המידע הנפרס לאחר הדחיסה זהה למידע המקורי.,, )d ונרצה שהעיוות הממוצע, כלומר ˆ אחרת, נוכל להגדיר מדד לעיוות המתרחש ) מסויים. נציג את פונקציית קצב עיוות: R לא יעבור חסם H D ma D פונקציה זו (תמיד קמורה ממש) מתארת את העיוות במידע כפונקציה של קצב האינפורמציה (כמות הביטים לסימבול). כאמור, אם לא נרצה עיוות כלל, נצטרך להתשמש בקצב אינפורמציה השווה לאנטרופיה של המקור. ככל שנבצע קוונטיזציה גסה יותר, נוריד את מספר הביטים לייצוג הסימבולים, ונוסיף לעיוות. נראה כי ככל שנבצע קוונטיזציה גסה יותר ויותר, העיוות יגדל, אבל בעצם יש חסם תחתון לכמות הביטים שצריך כדי לייצג סימבול. לדוגמא, נבצע קוונטיזציה לתמונה בעלת 8 רמות אפור, כאשר לקוונטייזר רמת ייצוג אחת. נבחר רמת אפור 64 (כך העיוות הממוצע המחושב יהיה קטן יותר מאשר אם היינו בוחרים את רמת האפור ). קיבלנו תמונה עם רמת אפור אחת, ולכן איבדנו את כל האינפורמציה. כלומר, יש רמה של קוונטיזציה שמעבר לה אין טעם להסתכל על העיוות, כל אל האינפורמציה כבר אבדה לנו קידוד תמונות דרכים להורדת אנטרופיה:.6.4. קידוד Human אלגוריתם הקידוד: סדר את ההסברויות לקבלת כל סימבול בסדר יורד. כל סימבול יהיה עלה בעץ שאנחנו נבנה כעת.. כל עוד יש יותר מצומת אחד:. חבר את שני הצמתים בעלי ההסתברויות הנמוכות ביותר לצומת חדש אשר ההסברות שלו הוא סכום ההסברויות של שני הצמתים שחיברנו. הקצה סיבית '' לענף התחתון החדש וסיבית '' לענף העליון החדש. הקוד לכל סימבול הוא הסיביות הרשומות על כל ענף בדרך לעלה שלו, כאשר מתחילים משורש העץ ניצול פילוג לא אחיד ראינו כי ככל שהפילוג אחיד יותר, האנטרופיה גדולה יותר ניצול תלות בין פיקסלים סמוכים נשתמש במערכת הבאה ליצירת הסימבולים: 46 עיבוד וניתוח תמונות, סיכום הקורס. נכתב ע"י אבי בנדל.